深層学習の仕組み, 勾配降下 | Chapter 2 Deep Learning
https://youtu.be/0AX3KSKjyog?si=jog1lwDPKRH5GUt1
MNIST database
勾配降下
initでランダムの重みとバイアスで開始する
コスト関数
どれくらいモデルが悪いか(仕事が下手か)を調べる
大きいほど悪い
入力;すべての重みとバイアス
出力;1つの値
これは正解との差分値の平均
重み、バイアス郡の中でどこがもっともだめか(極小値)かを調べたい
だめなところの変化が一番重要
だめなところを変化させると
差分により相対的な重要度がわかる
勾配ベクトルによって急な方向が下り坂の方向
下り坂に少し行って、またどちらの方向にいけばいいか計算する
これを勾配降下法という
どこを変化させるとコスト関数を最小化させることができるかを計算
勾配を効率的に計算するのが誤差逆伝播法
ニューラルネットワークの仕組み | Deep Learning 3Blue1Brown
#3Blue1BrownJapan
3Blue1Brown